Alfred Kinsey sinh ở Hoboken, New Jersey, là con của Alfred Seguine Kinsey và Sarah Ann Charles, ông là anh cả trong gia đình có 3 anh em. Bố của ông là giáo sư công tác tại Viện công nghệ Steven. Tuổi thơ của Kinsey không thực sự sung túc vì gia đình khá nghèo. Bản thân ông được sinh ra trong một gia đình theo hệ phái Tin Lành Methodist rất nghiêm túc, chuyện khiêu vũ, hút thuốc lá, dùng rượu hay hẹn hò và những thứ đại loại như thế hoàn toàn bị cấm và những kìm nén này được cho là có ảnh hưởng đến các tư tưởng sau này[1].

Năm 1921, Kinsey cưới Clara Bracken McMillen, họ có với nhau 4 người con. Năm 1927 Don, người con đầu tiên bị chết trước lần sinh nhật thứ 5, do biến chứng cấp tính của bệnh đái tháo đường trẻ em. Ba người con còn lại của ông gồm hai con gái là Anne sinh năm 1924 và Joan sinh năm 1925, cuối cùng là bé trai Bruce sinh năm 1928.